Beyond Backpropagation: Monte Carlo Method Can Train Deep Neural Networks
超越反向传播：蒙特卡洛方法可训练深度神经网络
🧭 蒙特卡洛无梯度训练方法
Department of Physics, Xiamen University · Lanzhou Center for Theoretical Physics, Lanzhou University
用最简单的随机突变-保留蒙特卡洛算法在单GPU上训练深层网络，无需梯度、归一化或残差连接
📌 工作参考价值（4 点）
- 离散权重训练：可直接训练低比特量化模型，适合需要极端压缩的端侧推荐模型，避免量化后微调。
- 纯剪枝训练：在训练过程中维持稀疏连接，省去传统“训练-剪枝-重训”流程，可集成到推荐模型压缩 pipeline 中。
- 不可微目标优化：当损失函数不可微或硬件不支持高效 BP 时，提供备选方案，例如基于规则或模拟环境的推荐策略学习。
- 主要学术贡献：收敛速度极慢，目前不适合工业级大规模推荐在线训练，但可关注后续加速变体在小样本离线调优中的应用。